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摘要 人 工 神经 网 络 的 模型 结构 与 功能 分 别 朝 着 多 样 化 、 智 能 化 趋势 发 展 ， 但 研究 者 仅 从 解 
诀 问 题 结 果 的 优 劣 对 模型 进行 评估 是 有 所 欠缺 、 过 于 片面 的 。 因 此 在 本 文中 提出 从 仿生 学 的 
度 构 建 评估 人 工 神 经 网 络 仿生 度 的 指标 集 , 采用 定性 与 定量 的 方式 对 模型 的 仿生 度 进行 整 
本 分 析 。 在 定性 方面 , 对 模型 的 神经 元 方程 、 网 络 结构 、 权 重 更 新 原理 等 方面 进行 比较 分 析 ; 
在 定量 方面 ， 基 于 仿生 的 角度 构建 指标 集 即 小 世界 特性 、 同 步 特性 及 混沌 特性 ， 对 模型 进行 
分 析 ， 分 析 结 果 表 明 ，LeNets 模型 及 BP 神经 网 络 具 备 同步 特性 ， 但 其 与 真实 生物 神经 网 络 
仍 有 一 定 的 距离 ， 而 KIII 模型 在 结构 上 具备 一 定 的 小 世界 特性 ， 其 网 络 内 部 也 表现 同步 特 
性 及 混沌 特性 ， 与 真实 的 生物 神经 网 络 更 为 接近 
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Absrtact: The structure and function of artificial neural network model are 
developing towards diversification and intelligence. However, the researchers only 
evaluate the model from the result of solving the  problem,which is 
unilateral. Therefore, in this paper, we propose to build an index set to evaluate 
the bionic degree of artificial neural network from the perspective of bionics.We 
uses quantitative methods to analyze the bionics of the model as a whole. In the 
determine the nature aspect, the neuron equation, network structure and weight 
renewal principle of the model are compared and analyzed;In the quantitative 
aspect, the index set is constructed based on the bionic point of view i.e. small 
world, synchronization and chaos, which is analyzed on the model.The analysis 
results show that the LeNet5 model and the BP neural network have synchronization 
characteristics, but they are still a certain distance from the real biological 
neural network, while the KIII model has certain small-world characteristics in 
structure, and its network also exhibits synchronization characteristics and chaos 
characteristics, which is Closer to the real biological neural network. 
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1. 引 


ill 


人 工 神经 网 络 是 通过 模拟 生物 神经 系统 构建 的 智能 系统 , 它 利 用 生物 神经 元 
的 电 生理 特性 及 神经 元 间 的 突 触 连接 关系 对 生物 神经 系统 一 些 基 本 功能 进行 模 
W, 其 实质 是 对 生物 神经 系统 的 一 种 简单 映射 。 随 着 研究 者 对 人 工 神经 网 络 深 入 
的 研究 ， 其 在 模式 识别 由、 自然 语言 处 理 外 、 智 能 控制 中 等 领域 有 着 突破 性 进展 ， 
并 且 网 络 结构 和 功能 朝 着 复杂 化 、 智 能 化 的 趋势 发 展 。 可 简单 的 为 人 工 神 经 网 络 
的 发 展 分 为 三 个 阶段 由: 第 一 代 神 经 网 络 是 由 阔 值 神经 元 组 成 的 ， 是 一 个 非常 简 
单 的 模型 ， 如 多 层 感知 器 、Hopfield 神经 网 络 。 第 二 代 神 经 网 络 的 神经 元 不 再 使 
用 阔 值 函数 来 计算 其 输出 信号 而 是 利用 一 个 非 线 性 激活 函数 , 使 其 适合 模拟 输入 
输出 ， 并 且 在 学 习 算 法 上 也 进一步 发 展 , 不 再 是 迭代 更 新 权重 ,而 是 可 利用 数据 
的 自身 特点 来 自主 学 习 ， 如 : BP 神经 网 络 、 卷 积 神经 网 络 ， 尤 其 卷 积 神经 网 络 
在 深度 上 较 好 的 模拟 了 真实 的 神经 系统 ， 深 度 可 达到 1202 层 铝 ， 能 够 更 深层 的 
学 习 数 据 的 潜在 特征 。 第 三代 神经 网 络 为 脉冲 神经 网 络 ， 因 为 在 真实 的 生物 神经 
网 络 中 ， 神 经 元 的 输入 输出 具备 脉冲 特性 ， 数 据 的 编码 方式 为 脉冲 编码 ， 这 样 更 
能 贴近 真实 的 生物 神经 网 络 ， 常 用 的 神经 元 模型 有 Hodgkin-Huxley 模型 、LIF 
模型 、AdEx IF 模型 、Izhikevich 模型 等 ，Morita K 等 人 中 利用 脉冲 神经 网 络 从 日 
语 语音 数据 中 提取 常用 词 ; Kim 本 等 人 中 提出 加 权 脉 冲 的 深度 神经 网 络 ， 与 传统 
脉冲 网 络 相 比 加 快 了 编码 速率 。 
结合 人 工 神经 网 络 的 发 展 趋势 ,其 都 是 以 真实 神经 系统 为 目标 , 希望 建立 更 
符合 应 用 需求 的 智能 系统 。 然而， 随 着 各 类 神经 网 络 的 建立 , 研究 者 对 人 工 神经 
网 络 的 评估 更 多 的 是 以 实际 问题 解决 的 完美 程度 来 评估 模型 与 智能 的 相似 度 , 这 
种 方式 简单 易于 理解 , 但 真实 神经 系统 解决 实际 问题 的 过 程 并 没有 清晰 准确 的 解 
读 ,， 仅 从 解决 问题 结果 的 优 劣 对 模型 进行 评估 有 所 欠缺 , 如 何 从 多 方面 建立 评估 
人 工 神 经 网 络 模型 与 真实 生物 神经 系统 间 的 相似 性 的 指标 集 , 不 仅 是 本 课题 需要 
解决 的 问题 ， 也 是 本 领域 内 尚未 解决 的 问题 。 

因此 , 在 本 文中 提出 从 仿生 学 的 角度 构建 人 工 神 经 网 络 仿 生 度 评估 指标 集 并 
对 其 深入 分 析 ， 了 解 神经 网 络 的 运作 机 理 。 本 文 主要 有 以 下 贡献 : 其 一 ， 可 从 仿 
生 学 的 角度 指导 模型 的 挑选 ， 为 模型 的 挑选 提供 依据 ; 其 二 ， 可 从 仿生 学 的 角度 
综合 评估 模型 的 整体 性 能 及 指导 模型 的 改进 ; 其 三 ， 从 仿生 学 的 角度 出 发 ， 为 各 
类 模型 的 评估 提供 一 个 公有 的 尺度 来 衡量 。。 

本 文 的 第 二 部 分 ， 详 细 介 绍 了 所 构建 的 指标 集 及 计算 方法 ， 在 第 三 部 分 中 ， 
选取 几 种 较为 典型 的 人 工 神 经 网 络 , 利用 所 建立 的 指标 集 进行 综合 分 析 ; 在 第 四 
部 分 总 结 全 文 ， 提 出 新 的 思考 与 展望 。 


2 典型 人 工 神 经 网 络 


2.1 BP 神经 网 络 


BP 神经 网 络 由 于 其 模型 简单 、 泛 化 能 力 强 、 易 于 理解 与 实现 等 特点 ， 使 其 
成 为 目前 应 用 最 广泛 的 神经 网 络 模型 之 一 。 模 型 的 结构 拓扑 图 如 图 1 所 示 ， 网 络 
由 输入 层 、 隐 藏 层 及 输出 层 三 个 部 分 组 成 ， 一 般 来 说 隐藏 层 常设 定 为 1-2 层 ， 网 
络 的 中 间 层 的 神经 元 都 与 前 一 层 的 每 个 神经 元 相连 接 , 神经 元 的 计算 是 将 每 层 的 
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输入 与 其 相对 应 的 突 触 权 什 相 乘 并 且 黑 加 求 和 ， 其 神经 元 的 方程 为 : 
ys ox, eb) 


其 中 9 为 激活 函数 ，b 为 神经 网 络 的 偏 置 项 。 

BP 神经 网 络 是 通过 误差 反 向 传播 来 更 新 权重 ， 将 实际 输出 与 期 望 输出 之 间 
的 误差 . 通过 隐 含 层 向 输入 层 逐 层 反 传 ， 并 将 误差 分 摊 给 各 层 所 有 单元 ， 从 而 通 
过 各 层 所 获得 的 误差 作为 调整 各 单元 权 值 和 阔 值 的 依据 。 权 重 的 调整 方向 是 通过 
梯度 下 降 法 来 确定 的 , 沿 着 负 梯 度 方向 来 更 新 权 值 ， 从 而 使 得 神经 网 络 的 输出 值 
与 目标 输出 的 误差 最 小 。 
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到 1 BP 神经 网 络 拓扑 结构 图 图 2 KIII 模型 结构 拓扑 图 


2.2 KI 模型 


Freeman 教授 根据 嗅觉 系统 的 生理 解剖 及 电 生 理 实验 ,提出 仿生 嗅觉 模型 即 
KIII 模型， 其 模型 结构 如 图 2 所 示 ， 在 图 中 ， 每 个 节点 均 表 示 神 经 团 ， 神 经 团 类 
型 包括 兴奋 型 (PM,E,AC) 和 抑制 型 (GLB) 。 在 结构 上 ，KIII 模型 是 由 多 个 
KO, KI, KI 模型 通过 突 触 连 接 及 其 反馈 相互 耦合 而 成 的 ， 每 个 节点 表示 一 个 神 
经 团 。K0 模型 是 KI 模型 中 最 简单 、 最 基本 的 模块 ， 它 与 其 他 神经 团 没 有 任何 
的 相互 连接 ， 如 嗅 感受 器 R 可 用 K0 模型 表示 。KI 模型 表示 神经 团 之 间 有 相互 
的 连接 ， 由 两 个 连接 的 KO 模型 组 成 。KII 模型 则 由 两 个 KI 模型 相互 连接 而 成 ， 
在 OB 层 、AON 层 、PC 层 均 有 所 体现 。 

fr KM 模型 中 ， 每 个 神经 元 都 可 用 一 个 统一 的 二 阶 微分 方程 描述 其 动力 学 
ITH, ARa FiS: 


—x (t)+(a+b)x; (t)+abx, (| = > Ox O, q,)] +L — (Q2 
-(exp(x(t)-1)/4) 
osoo 人 ) x(t) » x, (2-3) 
el x(t) «x, 
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其 中 ，N 表示 模型 中 并 行 的 单元 数 ，x(1)，x,(?) 是 分 别 表示 第 i，j 个 神经 
团 的 电位 状态 变量 ; 到 表示 第 j 个 神经 团 连接 与 第 i 个 神经 团 之 间 的 突 触 连接 强 
E: 7,(D) 代 表 第 i 个 神经 团 接受 外 部 的 输入 ; a 和 bb 分别 表 示 神 经 电 生理 活动 的 
两 个 时 间 常 数 ， 经 电 生 理 实验 可 测 得 a=0.220，b=0.720; 而 Q(x,(?),q)) 是 由 H-H 
方程 导出 的 非 线 性 输入 或 输出 函数 , q 的 数值 在 不 同位 置 表示 的 值 也 将 不 同 , 如 : 
在 球 周 细胞 层 中 的 神经 团 gq=1.824， 而 在 嗅 球 层 、 前 嗅 核 和 梨 状 皮层 中 的 神经 团 
q-5. 

KIII 模型 通过 Hebbain 学 习 规 则 和 适应 学 习 规则 更 新 突 触 连接 的 权重 BI， 主 
要 是 更 新 OB 层 的 连接 权重 ，Hebbian 学 习 规 则 的 目的 是 为 了 增强 所 期 望 的 刺激 
模式 ， 适 应 学 习 规 则 是 用 来 弱化 不 必要 因素 的 影响 ， 如 : 背景 噪声 等 。 


2.3 LeNet5 模型 


LeNet5 卷 积 神经 网 络 也 属于 层级 网 络 ， 与 其 他 前 馈 神经 网 络 相 比 ， 层 的 形 
式 、 功 能 做 了 些许 变化 ， 主 要 包括 输入 层 、 卷 积 层 、 池 化 层 、 全 连接 层 、 输 出 层 ， 
而 卷 积 层 与 池 化 层 可 交 蔡 放 入 网 络 框 架 中 , 故 网 络 的 深度 比 普通 的 全 连接 前 馈 神 
经 网 络 深 ， 如 图 3 所 示 ， 从 图 上 可 看 到 它 比 普通 的 前 向 全 连接 网 络 的 深度 要 深 ， 
共 8 层 〈 包 含 输入 层 ) o 

LeNet5 卷 积 神经 网 络 也 是 通过 误差 的 反 向 传播 更 新 权重 ， 但 其 在 计算 操作 
时 利用 卷 积 操作 提取 数据 的 特征 ， 利 用 池 化 操作 降低 特征 的 维度 。 
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图 3 LeNet5 卷 积 神经 网 络 结构 拓扑 图 


2.4 模型 定性 分 析 


在 结构 上 ，BP 神经 网 络 、LeNet5 模型 以 及 KU 模型 均 是 层级 网 络 结构 。 
BP 神经 网 络 的 网 络 连 接 是 全 连接 方式 ， 大 大 增加 了 网 络 的 学 习 参 数 。LeNet5 模 
型 也 是 前 馈 型 神经 网 络 , 但 是 其 深度 比 BP 神经 网 络 和 KIII 模型 都 要 深 。 深 度 较 


深 的 网 络 能 够 更 好 的 学 习 数 据 的 潜在 特征 , 但 并 不 是 单纯 的 将 网 络 的 深度 加 深 就 
能 达到 较 好 的 效果 ， 如 BP 神经 网 络 一 般 的 设计 只 含 一 个 中 间 层 ， 若 加 深 网 络 的 
深度 ， 新 增 中 间 层 ， 那 么 网 络 的 学 习 参 数 则 会 加 多 ， 使 得 网 络 难以 训练 并 且 相 当 
耗 时 。LeNet5 模型 网 络 的 深度 更 深 主 要 是 由 于 其 存在 卷 积 层 与 池 化 层 这 样 的 特 
殊 结 构 ， 大 大 的 降低 了 网 络 的 学 习 参 数 。KIII 模型 的 网 络 结构 是 根据 嗅觉 系统 的 
生理 结构 连接 而 成 ,具备 一 定 的 仿生 性 ,在 结构 上 具备 高 度 并 行 性 的 特点 ， 可 以 
让 根据 特征 的 维度 大 小 ， 增 加 网 络 的 结构 ， 在 网 络 中 ,每 一 条 连接 边 为 需要 学 习 
的 一 个 参数 ,网 络 中 没有 采用 全 连接 的 方式 去 连接 神经 元 ， 故 所 需 学 习 的 参数 在 
两 个 网 络 中 是 最 少 的 。 

在 神经 元 方程 上 ，BP 神经 网 络 是 采用 简化 生物 神经 元 的 工作 原理 即 全 连接 
累加 求 和 的 方式 再 利用 激活 函数 输出 。LeNet5 模型 在 卷 积 层 利用 卷 积 核 与 特征 
图 的 相应 区 域 进 行 卷 积 操作 , 提取 到 特征 图 的 有 效 特征 , 在 池 化 层 中 选取 池 化 操 
作 方 式 进行 降 维 ， 而 在 全 连接 层 中 执行 与 BP 神经 网 络 一 样 的 操作 。KIII 模型 的 
神经 元 采用 的 是 脉冲 神经 元 即 H-H 方程 ， 该 神经 元 具备 混沌 、 脉 冲 等 生物 特性 ， 
能 够 较 好 的 学 习 数 据 应 有 的 模式 。 

在 自学 习 方 式 上 , BP 神经 网 络 与 LeNet5 模型 采用 的 是 误差 反 向 传播 的 方式 
来 更 新 网 络 的 权重 ,仿生 嗅觉 模型 即 KIII 模型 采用 的 是 Hebbain 学 习 规则 和 适应 
学 习 规 则 来 更 新 权重 。 


表 1 经 典 人 工 神 经 网 络 差 异 对 比 


神经 网 络 zt Mg 神经 元 方程 自学 习 方式 
| 层级 结构 、 全 连接 ”全 连接 累加 求 和 + 非 ”误差 反 向 传播 更 
经 网 | 累加 求 
BP 神经 网 络 神经 网 络 线性 函数 新 权重 
层级 结构 、 根 据 响 Hebbain 学 习 规 则 
KI 模型 。” 觉 系统 的 生理 解剖 HH 方程 和 适应 学 习 规则 
结构 仿生 简化 而 得 更 新 权重 
深度 学 习 ” 层级 结构 、 具 有 卷 o a, 误差 反 向 传播 更 
(LeNet5) 积 层 、 池 化 层 e» 新 权重 


和 + 非 线 性 函数 


具体 比较 细节 如 表 1 所 示 ， 从 模型 的 定性 分 析 可 看 出 ，KIII 模型 与 真实 的 生 
物 神经 网 络 更 接近 ， 而 LeNet5 模型 在 深度 上 模拟 了 神经 系统 ， 能 够 更 好 的 学 习 
数据 的 特点 ， 而 BP 神经 网 络 结构 相对 简单 ， 因 此 其 性 能 相对 来 说 较 差 一 点 。 


3 模型 仿生 度 评估 


3.1 评估 指标 集 构建 


本 文 根 据 真实 神经 系统 的 结构 特点 及 神经 元 功能 特性 , 提出 一 套 衡量 人 工 神 经 
网 络 仿 生 度 的 指标 集 。 我们 从 同步 特性 、 小 世界 特性 、 混 沌 特性 三 方面 着 手 评估 
模型 的 仿生 度 。 在 模型 结构 上 以 小 世界 特性 衡量 神经 网 络 模型 的 结构 特点 ,在 神 


经 元 上 以 混沌 特性 、 同 步 特 性 衡量 神经 网 络 的 内 在 动力 学 特性 。 
A 小 世界 特性 

1998 年 Watts 等 人 中 在 Nature 上 首次 提出 一 种 新 型 网 络 ， 即 研究 了 一 类 特 
征 路 径 长 度 较 短 , 而 聚 类 系数 较 大 的 网 络 , 它 区 别 与 传统 的 规则 网 络 与 随机 网 络 ， 
我 们 把 这 种 网 络 称 为 小 世界 网 络 , 而 满足 小 世界 网 络 所 具有 的 性 质 被 称 作 小 世界 
特性 。 

在 现实 生活 中 慢 慢 发 现 有 很 多 的 网 络 均 具 备 小 世界 特性 ， 如 : 脑 神经 网 络 、 
和 蛋白质 网 络 、 社 交 影 响 网 络 等 。 谢 斌 等 人 9 研究 了 视网膜 神经 系统 和 七 鳃 鳗 奉 椎 
神经 系统 的 网 络 特性 , 通过 分 析 这 两 个 神经 系统 的 聚 类 系数 和 特征 路 径 长 度 , 在 
神经 系统 中 发 现 神经 元 之 间 的 信息 传递 均 具备 小 世界 特性 。 研 究 人 员 通 过 脑 电 
图 、 脑 磁 图 或 者 fMRI 发 现 脑 的 解剖 结构 连接 图 具备 小 世界 特性 吕 2， 并 且 研 究 
了 在 健康 人 与 患 精神 分 裂 的 病人 的 脑 结构 网 络 图 , 实验 表明 健康 人 具有 有 效 的 小 
世界 特性 而 这 些 特性 在 患者 的 结构 图 中 被 破坏 1 引 。 另 外，Andreas Wagner 等 人 19 
发 现 大 肠 杆菌 的 代谢 网 络 也 具备 小 世界 特性 ,其 网 络 结构 仍 为 小 世界 网 络 。 有 具备 
小 世界 特性 的 网 络 有 以 下 优点 : 其 一 ， 可 以 加 快 网 络 的 传播 效率 ,尤其 是 在 面 对 
疫情 或 传染 病 的 情形 下 , 了 解 其 原理 对 疫情 或 者 传染 病 的 抑制 或 控制 有 一 定 的 指 
导 意 义 。 林 国 基 等 人 05 利 用 小 世界 网 络 模型 研究 SARS 病毒 的 传播 , 其 研究 表明 
小 世界 网 络 模型 模拟 的 结果 和 北京 SARS 疫情 的 发 展 吻合 的 很 好 ; 其 二 , 利用 小 
世界 特性 优化 网 络 结构 ， 罗 小 娟 等 人 149 提出 一 种 小 世界 特征 效应 的 无 线 网 络 模 
型 ， 能 够 明显 改善 网 络 传输 性 能 ， 大 大 提高 网 络 节点 的 节能 比率 ; 

B 同步 特性 

生物 神经 系统 中 存在 着 大 量 的 同步 现象 ， 德 国 神经 科学 家 Gray 等 人 发 现 ， 
猫 视觉 皮层 的 神经 元 在 40-60HZ 范围 内 具有 同步 振荡 现象 071; Riehle 等 人 在 猴 的 
运动 皮层 神经 元 在 接受 刺激 的 时 候 神经 元 间 出 现 了 尖峰 同步 (9, 后 来 通过 实验 在 
猴 的 感觉 皮质 区 也 发 现 了 神经 元 的 同步 放电 模式 L9H。 其 后 , 相继 进行 一 系列 的 神 
经 生物 学 实验 ， 从 实验 中 表明 在 人 脑 、 昆 虫 以 及 哺乳 动物 的 脑 内 均 具 有 同步 振荡 
现象 ， 并 且 也 存在 于 视觉 系统 、 听 觉 系统 中 。 

非 线性 网 络 的 同步 是 通过 网 络 中 节点 之 间 的 相互 影响 而 达到 的 一 种 共同 运 
动 或 拥有 某 种 共同 行为 现象 .人 工 神经 网 络 的 神经 元 方程 是 先 通过 线性 求 和 然后 
经 过 非 线性 函数 激活 输出 ,因此 人 工 神经 网 络 属 于 非 线性 网 络 。 在 本 文中 ,为 探 
究 人 工 神经 网 络 的 同步 特性 可 从 神经 元 上 出 发 去 考虑 神经 元 与 神经 元 之 间 是 否 
具备 同步 特性 , 进而 判断 出 人 工 神经 网 络 是 否 拥 有 和 真实 神经 系统 一 样 具 备 同步 
特性 。 

锁 相位 是 衡量 两 信号 之 间 同 步 程 度 的 一 种 方法 9 神经 元 的 输出 是 人 工 神经 
网 络 内 在 机 理 的 直观 体现 ， 因此 研究 神经 网 络 的 同步 性 可 输出 神经 元 的 值 , 利用 
锁 相 位 的 方法 去 衡量 神经 元 与 神经 元 之 间 是 否 有 同步 现象 。 当 所 计算 的 同步 值 
PLV 的 范围 应 在 0-1 之 间 ，PLV 值 越 大 ， 则 说 明 同 步 性 越 强 ， 反 之 则 越 弱 。 当 
PLV=0 时 表示 两 信号 完全 不 同步 ， PLV=1 则 表示 两 信号 完全 同步 。 

c 混沌 特性 

混沌 是 一 种 在 确定 性 动力 学 系统 中 ， 因 对 初 值 敏感 而 表现 出 的 不 可 预测 的 、 
类 似 随 机 性 的 运动 。 在 生物 神经 系统 中 研究 者 经 过 大 量 的 电 生理 实验 , 实验 中 表 
明 从 微观 的 神经 元 到 宏观 的 脑 电 波 乃 至 神经 系统 都 存在 着 明显 的 混沌 现象 CU。 
1952 年 英国 生物 学 家 Hodgkin 和 Huxley 对 长 枪 乌贼 的 巨大 轴 突 的 研究 ， 建 立 了 
描述 神经 轴 突 电位 变化 的 微分 方程 组 即 H-H 方程 2]， 从 方程 中 ， 研 究 人 员 发 现 


神经 膜 具 有 非 线性 现象 ， 如 : 振荡 、 混 沌 等 。Matsumoto G 等 人 3 使 用 周期 性 电 
流 刺 激 浸没 在 正常 海水 中 的 饥 鱼 轴 突 可 以 引起 混沌 的 电势 响应。 于 是 乎 ,研究 者 
便 开 始 将 混沌 理论 与 人 工 神 经 网 络 相 结合 ,构造 出 混沌 神经 网 络 ， 这 种 具备 混沌 
特性 的 人 工 神 经 网 络 更 为 接近 真实 的 神经 网 络 , 使 得 人 工 神经 网 络 在 模拟 生物 神 
经 网 络 的 动力 学 特性 更 进一步 ， 其 仿生 程度 也 将 越 高 。 

在 本 文中 采用 Wolf 方法 多 计算 李 雅 普 洛 夫 指 数 ， 其 中 通过 C-C 法 确定 时 间 
EIKA EZ m, EER r 的 以 及 用 快速 传 立 叶 变 换 计算 序列 的 平均 周期 ， 
知 李 雅 普 洛 夫 指数 大 于 0， 则 表示 神经 网 络 具 备 混沌 特性 ， 若 小 于 0， 则 说 明 不 
具备 混沌 特性 。 


3.2 特性 分 析 


(1) 小 世界 特性 分 析 


采用 衡量 小 世界 网 络 的 指标 即 聚 类 系数 和 特征 路 径 长 度 去 判断 LeNet5 模 
W, BP 神经 网 络 及 KI 模型 在 结构 上 是 否 具 备 小 世界 特性 。 

在 实验 中 , 我们 采用 的 是 有 向 图 生成 邻接 矩阵 ， 计 算 网 络 的 聚 类 系数 CC) 、 
特征 路 径 长 度 (LO UKE K) 等 统计 量 ， 其 中 度 定 义 为 节点 的 邻 边 数 。 在 BP 
神经 网 络 和 KIII 模型 的 网 络 结构 中 ， 把 每 个 神经 元 看 做 一 个 节点 ， 每 个 连接 定 
义 为 一 条 边 。 在 LeNet5 模型 中 把 每 个 特征 图 定义 为 一 个 节点 ， 把 卷 积 操作 或 者 
池 化 操作 定义 为 边 。 

在 实验 中 ，BP 神经 网 络 的 每 层 神经 元 设置 为 7、100、5 共 三 层 ， 同 时 也 计 
算 了 深度 为 4 层 的 BP 神经 网 络 ， 其 每 层 神经 元 设置 为 7、100、50、5; LeNet5 
模型 的 的 网 络 结构 见 表 2，KIII 模型 的 通道 数 设 置 为 20， 实 验 结 果 如 表 3 所 示 。 


表 2 LeNet5 模型 结构 参数 表 


Layer name Output size Kernel size 
Conv-1 | 108*88*6 | (5*5,6),stride-1 
Maxpool-1 54*44*6 (2*2),stride-2 
Conv-2 50*40*16 | (5*5,16),stride-1 
Maxpool-2 25*20*64 | (2*2),stride-2 
Dense-1 84 
Dense-2 40 


从 实验 结果 来 看 ，LeNet5 模型 与 BP 神经 网 络 的 聚 类 系数 为 0， 这 是 由 于 这 
两 种 网 络 属于 前 馈 型 神经 网 络 , 网 络 结果 过 于 规则 并 且 在 同一 网 络 层 间 的 神经 元 
或 者 特征 图 没有 相应 的 操作 即 没 有 边 的 连接 , 因此 构造 不 成 三 角 环 路 才 造 成 聚 类 
系数 为 0 的 情形 。 在 BP 神经 网 络 中 随 着 网 络 深度 的 增加 ， 其 特征 路 径 长 度 变 化 
不 大 ， 但 是 度 成 倍 的 增 大 ， 因 为 BP 神经 网 络 是 全 连接 网 络 ， 增 加 网 络 的 深度 ， 
网 络 的 连接 数目 会 大 大 的 增加 。 在 KI 模型 中 ， 特 征 路 径 长 度 过 大 ， 但 是 聚 类 
系数 的 值 为 0.3903 这 与 灵 长 类 动物 脑 皮 层 功 能 连接 网 络 的 分 析 结 果 一 致 即 
C=0.383， 因 此 KM 模型 在 结构 上 具备 一 定 的 小 世界 特性 。 


表 3 模型 的 指标 计算 结果 


K | L | C 

LeNet5 模型 114.2722 1.9542 0 
m Eu ee e pe umque T ME E ~ 
EOE e a TEE EDUC E rmm 
ees IX E ET AN MEC d RE MEE 


(2) 同步 特性 分 析 


选取 BP 神经 网 络 、LeNet5 模型 、KII 模型 的 神经 元 输出 来 探究 神经 网 络 是 
否 具 备 同 步 特性 。 在 BP 神经 网 络 和 KII 模型 中 直接 选取 神经 元 的 输出 ，BP 神 
经 网 络 迭 代 400 次 ,选择 其 隐藏 层 第 一 个 、 第 二 个 、 第 五 个 神经 元 以 及 输出 层 的 
第 一 个 神经 元 每 次 迭代 时 的 值 , 每 个 神经 元 输出 400 个 值 。KIII 模型 计算 的 持续 
时 间 即 迭代 步 长 仍 为 400 得 到 神经 元 的 输出 ， 选 择 M1 层 的 第 一 、 第 二 、 第 五 以 
及 M2 层 的 第 一 个 神经 元 的 输出 。LeNet5 模型 的 结构 及 运算 较为 复杂 ， 为 保证 
模型 有 较 好 的 性 能 ， 采 用 随机 打 乱 样本 的 方式 输入 至 网 络 中 , 故 在 网 络 中 取 其 每 
次 epoch 中 所 有 批 次 值 的 平均 值 作为 神经 元 的 输出 ， 在 LeNets 模型 中 迭代 200 
次 ， 取 同一 通道 的 第 一 、 第 二 、 第 五 以 及 下 一 个 卷 积 层 的 第 一 个 神经 元 的 值 ， 每 
个 神经 元 输出 200 个 值 ， 其 相应 的 部 分 输出 如 表 4 所 示 。 


表 4 各 神经 网 络 神经 元 输出 


0.1330 0.1306 0.1286 0.1269 0.1255 0.1244 0.1234 

0.1460 0.1437 0.1417 0.1400 0.1386 0.1375 0.1365 

a 0.1939 0.1919 0.1902 0.1887 0.1875 0.1865 0.1857 
-0.8126 -0.8431 -0.8693 0.8914 -0.9100 -0.9254 -0.9380 

2.5853 6.8418 10.8837 13.7589 15.5891 16.7893 17.6736 

4.5547 11.9418 19.1477 24.9381 29.3886 32.8586 35.6589 

d 0.9947 2.7507 4.4246 5.3040 5.2265 4.6119 3.8530 
3.7881 4.4126 3.509] 2.27769 1.4513 1.0007 0.7998 

14.8143 14.8568 14.8943 14.9608 15.0694 14.8516 14.9216 

13.8281 13.8754 13.9137 13.9889 14.0704 13.8588 13.9263 

iis 14.2144 14.2696 14.3077 14.3756 14.4682 14.2620 14.3317 
26.3038 26.3901 26.4859 26.5585 26.7741 26.5741 26.6750 


采用 锁 相 位 的 方法 计算 神经 元 与 神经 元 的 输出 组 成 的 时 间 序 列 信 号 之 间 的 
同步 程度 ， 结 果 如 表 5 所 示 ， 在 表 中 符号 1-2 表示 的 是 第 一 个 与 第 二 个 神经 元 的 
输出 所 计算 的 PLV 值 ， 后 序 编号 表示 含义 同上 ， 另 外 1(1)-2(1) 表 示 第 一 层 的 第 
一 个 神经 元 与 第 二 层 的 第 一 个 神经 元 之 间 的 同步 性 。 


deb 各 神经 网 络 神经 元 之 间 的 PLY 值 


| 1-2 | 1-5 1(1)-2(1) 
BP / 0.9999 | 0.9984 0.9357 
^ —— Kl 09571 0.85331 0.600 
= — — ———— 


从 表 中 ， 我 们 可 发 现 BP 神经 网 络 、KIII 模型 以 及 LeNets5 模型 均 具备 同步 
特性 ， 但 是 BP 神经 网 络 及 LeNet5 模型 的 各 神经 元 之 间 PLV 值 均 接近 于 1 即 在 
神经 网 络 中 具备 较 高 的 同步 特性 , 原因 在 于 两 者 网 络 均 是 采用 误差 反 向 传播 算法 
来 更 新 权重 ， 权 重 的 修正 朝 着 负 梯 度 方 向 进行 ， 具 有 一 定 的 同步 性 ， 进 而 更 新 神 
经 元 输出 的 值 也 有 同步 的 变化 趋势 ， 如 上 表 所 示 ， 同 时 在 LeNet5 模型 进行 200 
次 迭代 时 ， 神 经 元 的 值 将 出 现 收敛 现象 ， 因 此 后 续 的 输出 变化 不 大 , 增 大 了 其 同 
步 性 。 而 在 KIII 模型 中 也 具备 同步 性 ， 在 相 邻 两 节点 的 同步 程度 最 高 ， 但 不 相 
邻 时 ， 神 经 元 间 的 同步 性 较 差 ， 尤 其 是 在 M1 节点 与 M2 节点 间 的 输出 的 变化 趋 
势 有 明显 的 差异 ， 同 步 性 较 低 。 


(3) “混沌 特性 分 析 


选取 KIII 模型 的 Ml 节点 和 BP 神经 网 络 隐藏 层 的 第 一 、 第 二 和 第 五 个 神经 
元 输出 的 时 间 序 列 来 探究 其 是 否 具 备 混 沌 特性 。 为 得 到 最 佳 的 嵌入 维 数 m 和 时 
间 延 迟 z ， 我 们 增 大 神经 网 络 的 迭代 次 数 以 得 到 较 长 的 时 间 序 列 。 当 增 大 迭代 次 
数 时 LeNet5 模型 易 出 现 过 拟 合 ， 神 经 元 的 输出 值 的 变化 不 明显 ， 故 在 此 处 不 讨 
论 LeNet5 模型 的 混沌 特性 ， 另 外 LeNetS 模型 与 BP 神经 网 络 属于 前 馈 神 经 网 络 
并 且 更 新 权重 的 原理 相同 ， 因 此 其 运动 变化 状态 可 能 一 样 。 

在 实验 中 每 个 神经 元 的 输出 时 间 序 列 长 度 为 3000。 对 于 KM 模型 ， 我 们 设 
定 持续 为 3000s, 在 第 1000s 时 输入 刺激 , 第 2000s 结束 刺激 , 因此 我 们 计算 KIII 
模型 的 李 雅 普 洛 夫 指 数 分 三 段 进 行 ， 而 BP 神经 网 络 持续 迭代 3000 次 ， 直 接 计 
算 该 序列 的 李 雅 普 洛 夫 指 数 ， 具 体 结果 如 表 6 所 示 : 


表 6 KIII, BP 神经 网 络 各 神经 元 的 李 雅 普 洛 夫 指 数 


[1,1000] [1001,2000] [2001,3000] 
KIII-MI-1 0.3525 -35.4937 -0.0451 
KIII-MI-2 0.1326 -73.1364 -0.0594 
KIII-MI-5 0.1976 -0.0684 0.1546 

BP-1 -334.7309 

BP-2 -334.6722 

BP-5 -330.8155 


从 实验 中 ， 我 们 看 到 在 KI 模型 中 第 一 、 


第 二 以 及 第 五 个 神经 元 在 [1-1000] 


的 区 闻 段 的 李 雅 普 洛 夫 指 数 均 大 于 0， 说 明 该 系统 在 没有 接受 刺激 前 具备 混沌 特 
性 , 当 在 [1001-2000] 区 间 段 内 李 雅 普 洛 夫 指 数 小 于 0, 说 明 该 系统 在 受到 刺激 时 ， 


由 混沌 状态 很 快 进入 到 一 个 稳定 的 状态 ， 而 在 [2001-3000] 区 间 段 内 ， 李 亚 普 洛 夫 


指数 慢 慢 趋 近 于 0， 系 统 逐 渐 的 恢复 至 原始 的 混沌 状态 。 在 BP 神经 网 络 中 计算 
其 神经 元 输出 的 时 间 序 列 的 李 雅 普 话 夫 指 数 均 发 现 其 值 均 远 远 小 于 0, 那么 该 神 
经 网 络 不 具备 混沌 特性 。 


4 结论 


本 文 研究 了 人 工 神经 网 络 的 仿生 度 问 题 。 首 先 ， 对 BP 神经 网 络 、LeNet5 Ei 
型 及 KIII 模 型 ， 从 神经 元 方程 、 模 型 结构 以 及 学 习 原 理 等 方面 初步 的 探究 其 仿生 
度 ， 从 比较 分 析 的 结果 来 看 ，KIII 模 型 与 真实 的 生物 神经 网 络 更 为 接近 ， 仿 生 程 
度 最 高 ， 而 深度 学 习 LeNet5 模型 在 深度 上 模拟 了 真实 神经 系统 的 结构 特点 。 然 
后 ， 从 仿生 学 的 角度 构建 出 评估 模型 仿生 度 的 指标 集 即 小 世界 特性 、 同 步 特性 以 
及 混沌 特性 ， 采 用 相应 的 指标 对 指标 集 进 行 量化 分 机 ， 从 分 析 结 果 表 明 ，LeNet5 
模型 及 BP 神 经 网 络 在 学 习 过 程 中 ， 有 具备 同步 特性 ， 但 其 与 真实 生物 神经 网 络 仍 
有 一 定 的 距离 ， 而 KIII 模 型 在 结构 上 具备 小 世界 特性 ， 其 网 络 内 部 特 表现 出 同步 
特性 与 混沌 特性 ， 与 真实 的 生物 神经 网 络 更 接近 。 在 后 阶段 可 从 模型 结构 、 神 经 
元 和 模型 性 能 上 进一步 完善 评估 人 工 神经 网 络 仿生 度 的 指标 集 , 并 且 根 据 指标 集 
量化 出 模型 的 仿生 程度 ， 为 模型 的 评估 给 出 直观 的 评估 结果 。 
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